AI Papers Daily

#LLM Scaling

2 篇

Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory

大规模参数化长期记忆模块：独立预训练与解耦扩展

🧭 参数化长期记忆与 LLM 解耦 · 独立扩展 ★ 深度解读

LUMIA Lab, Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · Tsinghua University

将参数化长期记忆模块扩展至 6.9B 参数、300B 令牌预训练，小 backbone 搭配大记忆在多项基准上超越更大纯骨干模型且总参数更少

📌 工作参考价值（4 点）

• 记忆模块即插即用，适合多领域推荐系统快速迁移：预训练好的通用或领域记忆可以直接插在冻结的推荐模型（如同 backbone）上，仅需少量计算即适配新领域，避免全量微调，显著降低部署成本。
• kNN 分布蒸馏到参数模块，避免在线检索：电商搜索或推荐场景通常需要实时反馈，该方案将检索信号离线蒸馏为参数化记忆，推理时无需外部索引和检索，降低延迟和存储，可直接用于排序或召回的特征增强。
• 小 backbone + 大记忆的参数效率优势：在推荐模型中，可以用相对较小的主网络搭配较大记忆模块，在总参数受限时比单纯扩大主网络更高效，例如为轻量召回模型配备大容量记忆来提升冷门物品或长尾查询的覆盖。
• 记忆训练目标可提升训练数据可追溯性：论文中的抽取式记忆评估表明记忆能更精准还原训练样本，类似思路可用于推荐系统中关键行为或商品的记忆固化，帮助可解释性和合规审查。

LLM | 2026-07-29 | HF Daily | score 8/10

Parametric MemoryLong-Term MemoryMemory PretrainingkNN DistributionLLM ScalingDomain Adaptation

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

MoE 语言模型中的专家层循环绑定

🧭 MoE 参数共享与内存优化

EPFL

跨层共享专家参数，保持独立路由，几乎无损失地将 MoE 内存占用减半

📌 工作参考价值（4 点）

• 大型推荐模型的内存压缩：若采用 MoE 做多任务或用户分群建模，跨层共享专家 FFN 可近乎砍半参数内存，同时保持独立路由，适合搜索/推荐等需低延迟服务的场景。
• Agent 模型的低成本扩展：构建多专家 Agent 系统时，可通过层间专家复用减少冗余，维持不同层路由独立以保留推理多样性，平衡能力与资源。
• 工程实现注意：复用需保证每层 router 和 attention 独立；可直接应用于 OLMoE/Qwen3/DeepSeek 等主流 MoE 结构，现有模型微调或蒸馏时可尝试专家合并。
• 与 LoRA/量化结合：专家共享后为稀疏模块再留出容量加 LoRA 或小块微调，可在内存受限设备上部署更大型的生成式推荐模型。

Training | 2026-06-15 | cs.CL | score 7/10

Mixture-of-ExpertsExpert TyingParameter SharingEfficient TrainingLLM Scaling